Đinh Toàn làm vua được 8 tháng, sau trở thành Vệ vương có mặt trong triều đình Tiền Lê 20 năm. Năm Tân Sửu 1001, trong dịp cùng vua Lê Đại Hành (tức Lê Hoàn) đi dẹp loạn Cử Long thuộc vùng Cầm Thủy, Thanh Hóa, Đinh Toàn bị trúng tên, mất năm 27 tuổi.

Khâm định Việt sử Thông giám cương mục chính biên quyển thứ 1 ghi về cái chết của Đinh Toàn:

"Nhà vua [Lê Hoàn] đi đánh Cử Long, Vệ vương Toàn theo đi. Bấy giờ quân giặc thấy nhà vua, chúng giương cung, chĩa tên, toan bắn, chiếc tên rơi xuống; chúng lại giương cung, dây cung đứt. Chúng sợ, rút lui. Nhà vua đi thuyền ven sông đuổi theo. Quân giặc ở hai bên bờ đánh khép lại. Quan quân bị hãm ở sông. Vệ vương Toàn trúng phải mũi tên bay, mất tại trận. Nhà vua kêu trời ba tiếng, rồi thân ra đốc chiến: quân giặc thua.Lời phê - Lê Hoàn lợi dụng cơ hội, đã cướp lấy nước người ta, lại không khéo đối đãi chúa cũ, đẩy vào chỗ chết, thế nào mà Toàn chẳng đến tử vong? Còn việc cất tiếng kêu trời, gieo mình xuống đất, chỉ là một ngón giả trá. Thật khó che đậy được công luận nghìn thu".[2]

Đinh Đế Toàn được thờ cùng với vua cha Đinh Tiên Hoàng và các anh em trai trong hậu cung đền Vua Đinh Tiên Hoàng tại Khu di tích Cố đô Hoa Lư, tỉnh Ninh Bình.